如何评估儿童心理发展干预项目？以日慈经验为例

写在最后

本文节选自2021中国儿童心理赋能公益论坛主题演讲《如何评估儿童心理发展干预项目：以日慈经验为例》

演讲嘉宾：吴帆

南开大学社会工作与社会政策系系主任、教授

国家妇儿工委“流动儿童与留守儿童”专家委员会委员

中国人口学会家庭专业委员会委员

中国家庭社会学专业委员会理事

中国社会工作教育协会理事

在大学生群体里，我接的个案有重度抑郁的，当他们回溯过往时，儿童和青少年时期没有解决的问题将伴随着他们一直到大学，可能还会接着影响后续的人生阶段。

如果已经诊断有抑郁症或焦虑症，及时的干预非常重要，这对提升患者的生活质量和家庭健康很重要。

而日慈所做的是在前端的预防性工作：还没有被诊断出来是精神疾病的状况下，提前提升你的心理弹性或心理抗逆力。

我这些年也非常荣幸能跟日慈合作，参与他们项目评估的过程，今天做这个发言就是希望分享一下他们的团队在评估这部分是怎么做的。

 评估要解决的核心问题：

 孩子的心理健康水平是否有改善 

一般意义上来说，心理干预项目的评估要求循证研究（evidence based），就是说我要有证据证明我（的干预）改善了儿童或青少年的心理健康水平，在哪些方面有所改善。

评估要解决的最核心问题，就是我们针对这些孩子们所开展的课程和各类项目，到底解决了他们的问题没有？

他是因为我们的干预带来的变化，还是他自己在成长过程中寻找到资源，从而促使自己发生改变？比如在公众号上看一些怎么去改变人的抑郁状态的文章，也可能会在学校的课堂里听到老师介绍相关知识，亦或是家长为我们做出的一些好的示范，这些都可能带来改善和改变，所以评估其实是来证明这种因果关系的。

我们目前非常多的儿童心理健康发展项目，大家都会闷头干，但是效果如何，服务群体的改变是不是因我们的项目带来的，目前在全国的范围内，能以证据为本，证明有效的项目确实还是不多见的，所以我来谈一下心理干预项目评估的一般要求。

心理干预项目评估的一般要求，无论是对于一些事前的介入（就是我们讲的预防性的干预），还是我们在事中或事后发现问题想要去进行一些补救性措施的时候（比如你已经得了抑郁症或焦虑症，我去做这种干预），都是要遵循特定的要求和规范的。

首先要选择适当的评估类型，如何选择适当的评估类型？简单来说，就是明确你的目标是什么。比如说，当我知道这些孩子的需求是什么，我就要去开发一套服务有针对性地解决孩子的问题，那你就一定要用到需求评估。当这个项目或服务开展之后，我想要看效果怎么样，这个效果跟我们项目的开展有没有关系，我就要用到结果评估。当我们想看一个项目的性价比，即投入产出比，那我就要用到效率评估。所以不同的评估目标、不同的评估时间以及项目的具体要求，决定了我们的评估类型是完全不一样的。

接下来我就以RCT（随机对照试验）为例，来展示评估的一般步骤：首先要提出研究假设，然后把服务对象分为两个组，一个是干预组，一个是对照组，干预组我们也称之为实验组，就是一部分人接受我的服务。在经过一定的服务周期后，对比服务介入前的一个节点和服务介入后的一个节点，看两组是否有变化。

我将以心智素养课程为例，重点介绍一下日慈的做法。在这个过程中，从课程开发、不断优化课程到不断优化评估工具、评估方式，我确实是一路看着日慈的成长和发展的，我觉得其实是一个比较好的典范。

 对日慈的评估：

 以《综合型心智素养课程》为例 

首先我们来看一下，他们整体上做了一些什么。

日慈的心智素养课程，一方面做了课程的需求评估，另一方面，他们要为授课老师提供课程培训，因此也做了授课老师的需求评估，这是非常重要的环节。

你得知道我的需要是什么，就像我们现在家庭教育里面出现了很多的问题，其实是父母并不知道孩子真正的需要在哪里，所以有一种冷叫“爸爸妈妈觉得（孩子）冷，让孩子穿秋裤”，对吧？

所以需求评估是非常重要的，能够促进换位思考，互相理解。

第二个是过程评估，过程评估主要是帮助我们节省成本的，为什么？万一你有了偏差，到结束之后去做评估才发现问题，你项目投入的钱就浪费了。

所以过程评估是帮助我们做monitoring的，就是监控和监管，确保我的服务确实是朝着预期的目标进行的，或者说能够有一定的成效。

我的service delivery，就是在服务进展过程中，有没有足够的人力物力及外部环境去支持服务的开展？日慈对授课过程也进行了监测和打分，然后是培训的过程，还包括项目实施过程。

最重要的一个环节在结果评估里，结果评估又包含了课程的满意度。大家要知道，课程满意度，其实很多时候并不是评估课程成效的，课程的满意度更多评价的是老师讲课的形式，老师个人讲课的魅力等等。结果评估涉及到满意度的评估，涉及到效果的评估，涉及到整个项目的满意度和项目的效果评估。

所以我们现在其实很多的项目里面，我所接触到很多的服务项目，只有满意度评估，只有满意度评估的问题就在于他评估的其实不是这个效果本身，而是老师的态度。

日慈的评估方法是混合研究方法，既用到了质性的研究，比如说访谈，实地走访、课堂观察，资料收集，对资料进行分析，也用到了量化的问卷调查方法。

我其实也觉得混合研究方法特别的好，后面也会讲到，我们当然要用证据来证明我们的项目是有效果的，但是如果那个统计不够显著怎么办？是不是就说明我们的项目没有效果？

不是的，访谈观察都能够帮助我们捕捉和获取到这个项目临床效果的实际意义。

他们的评估步骤是非常规范的，从需求到评估方案的确定，采用问卷调查法和访谈法，收集数据，分析数据，撰写评估报告，根据评估的指标来判断效果。这是一个非常完善、规范的评估流程。

需求评估>

我们可以看到日慈心智素养课程的需求评估，主要是满足了课程开发的核心。

当然，他们后续还会听取老师的意见、从小程序里收集老师的反馈，不断优化课程。

大家可以看到这一点，文献检索很重要。就是以往类似的这种服务，他们在做什么，同类的服务项目，他们是怎么做的？这种文献检索过程是不能忽略的，而且也能帮助我们节省很多时间。

我们想要服务的人群，一般意义上的心理健康问题主要表现在哪些方面？然后我们以这个为蓝本去设计访谈提纲和调查问卷。

你要去做试调查，然后在试调查过程中不断调整，但非常重要的是，你要有一个文献的来源去支持你，同时你做一些试调查，做一些探访性的前期的工作，也能帮助你去修正相应的内容。

总体上，从需求评估就发现了儿童一些心理健康方面的表征，这些表征确实不是一些严重的精神问题，但确实也是一般意义上的心理健康问题。

因为心理健康问题是一个连续发展的谱系，是从量变到质变的过程，是一个从一般意义上的心理健康问题到非常严重的心理健康问题谱系。

过程评估>

过程评估我们可以看一下，他们做了听课记录表和线下培训的反馈，反馈表涉及到教师对培训的反馈，还有对课程的反馈，大家可以看到，这个满意度是比较高的。

结果评估>

在这里初步给大家展示一下前后测的问卷，它是很好地去做了随机抽样，抽取了1800多个学生，它测量的量表工具也是比较科学化的，它是由三个量表改编过来的。

然后在开课之前进行前测，对参与服务的干预组和没有参与服务的对照组同时进行测量，结课后一周之内两个组再实行后测。

我们看这三个量表，有前测的分数、后测的分数，自尊水平、同伴关系水平和情绪智力水平，我们可以看到两个分值都有明显的变化，都提高了，但更重要的是，他们做了一个统计检验，发现是显著的。

统计检验情绪智力水平量表、自尊水平量表、同伴关系水平量表的得分，都有明显的进步。

老师的分享和学生的分享，这是一些质性的结果，你会发现，这个孩子对问题的理解程度会更宽。

评估的科学性>

我们重点想介绍一下日慈这个项目的科学性，就是结果评估的科学性。结果评估的操作过程，就是按照我们刚才说的随机对照实验的流程展开的。

你看整个实验组是4个班，对照组4个班，最后的结果是有完成了4个课时的，我觉得这是挺有意思的，就是只完成了4个课时和完成了所有课时的对比。汉阴县跟泾阳县做比对，它整个样本的基本情况，对照组是完全没有介入到这个课程里面的。

接受课程完成了4课时的叫实验组，但这是一个打引号的“实验组”，它没有完成所有的课程。

然后到泾阳县完成了所有课时的实验组，这里有基本的人数情况，他们主要采用三个量表，自尊量表，情绪智力量表，还有同伴关系量表，除了这几个量表，还有个人的基本信息。

这些基本信息能帮助我们去做一些分析，看看儿童的心理健康水平跟他的年龄、性别、家庭环境、留守情况是否有直接的关联。

我们的服务对这群具有这样一些特征的孩子是不是有效果，这个可以帮助我们更深入地了解服务效果的有效性。

把这三个量表合成一个量表的前提，就是这几个量表的计量分数是完全一样的，都是采用5点计分。这些表格其实就是检验量表的可信度和效度，汉阴县的情绪智力前测系数稍微低一点，其他都在0.6以上，基本可接受，就是说有一定的可信性。

另外一个部分效度，就是要符合中国本土的情境，他们在改编的过程中已经考虑了本土化，语言表达是不是符合孩子们的习惯等等。

那接下来就有一些不同的测量结果，这个测量结果真的很有效地支持到项目的完成和服务效果，不同课程的满意度都还相对比较高。

大家可以看一下不同群体的自尊水平量表的总体得分，你会发现都有变化。对照组（没有接受课程干预的）的变化方向是减少了、降低了。

然后完成了4个课时的呢，也提高了，但分值不明显，当我们去做一个统计检验的时候，会发现对照组、只完成4课时的实验组，这个数据的变化都没有任何统计意义。

只有完成了所有课时的这个泾阳县，实验组表现出了统计意义，这个课程对他们来说是有明显的效果的，在统计上有意义的。

情绪智力量表总体得分也是一样的，它（对照组）又变成了一个负向的呈现，但这个变化是无规律的。然后泾阳县的实验组的变化是增加了，而且它是有统计意义的。

同伴关系一样的结果，不同群体同伴接受水平量表的总体得分情况，完成了所有课时的泾阳县的实验组是有明显的统计意义。

最后一个研究的结论就是通过效果评估，尤其是比较规范地遵循了随机对照实验完成的结果评估，我们会发现对照组（完全不接受任何服务）没有明显的改善。

完成了4个课时的汉阴县的实验组，我们可以看到它的变化方向是比较乱的，且没有统计意义。只有完成了所有课时的泾阳县的实验组学生的自尊水平、情绪智力水平和同伴关系水平有显著提升。

当然，在课程满意度的打分上，不同群体之间也有差异，完成所有课时的泾阳县实验组的满意度更高一些。

我想呈现的是，日慈做了很好的一个model，从需求评估、过程评估到结果评估，分层次地对课程评估，对培训评估，对项目整体评估，我觉得这是一个很好的典范，很好的一个开始。

虽然在评估的细节里，我们可以有进步的空间，但我觉得对做心理健康发展一线服务的人员来说，治疗性干预也好、预防性干预也好，这个评估理念和方法是应该掌握的。

除此之外，平台负责人或项目管理者、负责人，也要掌握这个知识。要金主爸爸给你投钱，就要证据为本，当然你说配对样本检验他未必听得懂，但你要告诉他有显著的差异，我们要用统计意义来分析这个显著的水平提高了多少，对孩子的益处在哪里。

 一些思考 

我最后想做一些思考，结合日慈项目的评估和我自己日常评估的一些思考。

我们讲的儿童干预，预防干预和治疗干预哪个更重要？我觉得都重要。

相对而言，无论是儿童青少年还是成年人的心理健康问题，国内对心理健康的病耻感还是非常强的，但已经比以前好很多，因为确实它变成了一个社会问题。

去年春节，我一个非常好的朋友，已经安排了所有后事，要去实施自杀行为，然后我强制性地介入，把他送到医院去。

他跟我说的第一句话是，你看我们认识了这么多年，没想到要在这样的场合以这样的方式跟你告别。他觉得自己得了重度抑郁，很羞耻、很羞愧，他已经没有办法跟你很好地交流，没有办法很好地向世人展示，他其实是一个非常成功的人。

无论是家长、学校、社会，其实都已经被唤起了“心理健康非常重要”的意识，但坦白地说，还远远不够，尤其对于这种预防性的干预，就是提升心理弹性，增强积极的能量和情绪管理能力，能够让你更好地面对人生的十有八九不如意之事。

你遇到一些不如意不顺心的事，一定会出现情绪反应，会出现一些行为上的偏差的反应，但怎么去应对这个事情，很重要。

所以我觉得预防干预或预防性的心理发展项目，重点在于赋权，促进儿童有自我的能力的提升和家长能力的提升。

荣格有句话“父母死气沉沉地生活对周围，特别是对自己孩子的影响，是无与伦比的。”

这个其实是家长给儿童带来的。你所在的家庭氛围不同，比如一个积极乐观向上的家庭氛围和头顶一片乌云的家庭氛围，孩子的发展确实完全不一样。

所以有时候回想起来，我特别感谢母亲，她也不是一个专业的心理专家，但从小我就觉得事儿不叫事儿，比如说我今天头非常的疼，或者肚子非常的疼，她就拿出一个冰棍说以毒攻毒，然后我发烧发到很高，她说去学校吧，没事，后来我想这种放养型的，也没把我养出来什么病来。

成年之后我遇到一些问题，比如我跟她说这个事解决不了，她说：你尽力了吗？

我说我尽力了，她说尽力了，你就去找个地方吃冰棍吧。尽力了就是培养出你那种强大的心理，觉得这个事情它不叫事情。

所以我觉得家庭教育，父母的这种言传身教，以及父母对待问题的抗逆的能力，真的对孩子非常重要。

第二个我想反思的一个东西就是统计学意义和临床意义，学过统计学的人都知道，样本足够大就容易显著，就是说哪怕你的服务效果不是那么的好，你的样本足够大，你的结果就是会显著的。你样本不够大，你不是随机提取的，抽样有问题，就很有可能统计不显著。

我觉得把统计学意义作为干预的唯一标准是不可取的，这里面我希望能够加入临床意义。

那临床意义指的是什么？在医学环境里的临床意义和在心理干预的临床意义不一样，我总结的心理发展的干预，像肉眼可见的孩子的变化，这个部分是需要我们用质性的方法去呈现的。

最后一个就是，我觉得日慈的项目和课程包是值得推广的，因为他们做了大量前期的研发工作，不管是课程的研发还是项目的评估，都遵循了科学的研究方法，在这样情况下所形成的课程包一定要去推广。

在推广过程中，要注意文化适应性的问题。比如你在上海做和在新疆做，它其实是有文化差异的，哪怕就在天津和北京做，孩子的状况都是不一样的，所以要思考这种文化适应性。

文化适应性首先决定的是深层的结构，即我们所做的这种干预的因果关系，研究的基本假设对于新的干预对象是有解释力的。比如说在这个地方，积极心理干预带来的抗逆力提升、自尊水平提升，对于新疆的小朋友也具有这种因果关系，你拿到证据认为它是可以的，就可以去做推广。所以，我真的非常期待能进一步地推广。

在新疆、广西有很多少数民族，如果你的深层结构是ok的话，这个因果关系成立，那你的表层结构就是改变语言、改变内容、改变方式，就是改变形式上的东西，让你新的干预对象更容易接受服务，get到你服务的核心。

最后，我觉得（不同组织）应该形成合力，让一些好的服务项目，能够有一些好的平台进一步地推广。

当然也希望在座的各位，能够共同助力这个项目的践行和推广！

为教授干货满满的分享点个「在看」~